不远的将来，当我们面对满屏的采用AIGC（生成式人工智能）技术创作的“外星人大战机器人”短视频，如何认识与理解快速变化的AIGC技术将成为难以回避的问题。本篇文章将对动作捕捉技术展开介绍，回顾发展历程，展望技术未来，探索其对于科幻影视创作可能带来的影响。

2023年6月30日，备受关注的AI影视创作工具Wonder Studio宣布开放公测。这个工具能够自动分析和捕捉真实人物的表演，并利用CG技术制作出精美的动画。同时还能够将灯光和CG角色与实拍场景进行精准匹配，实现无缝融合。完成上述操作不仅不需要繁琐的3D软件操作流程，也不需要昂贵的硬件设备，只需要一台相机即可完成。对于普通用户而言，只需上传视频、选择需要替换的角色，等待后台生成并下载即可。该工具的操作非常简单，却能达到与一支小型创作团队数日的工作成果相当的效果。它能够极大地降低制作门槛，让更多人能够轻松地进行创作。而Wonder Studio的高度智能化和功能集成化，代表了AIGC的发展方向，让人们对AIGC所带来的未来充满期待。今天主要探讨其中一项关键技术——动作捕捉。

Wonder Studio演示

动作捕捉技术（Motion capture）是一种记录和处理人或其他物体动作的技术。它在许多领域得到广泛应用，包括军事、娱乐、体育、医疗应用、计算机视觉和机器人技术等。在电影制作和电子游戏开发领域，动作捕捉技术通常用于记录人类演员的动作，并将其转换为数字模型的动作，从而生成计算机动画。

动作捕捉极简史

动作捕捉技术起源于电影制作和游戏开发领域，经过多年的发展和演进，成为现代影视制作中不可或缺的技术之一。以下是动作捕捉技术的起源和发展的主要里程碑。

马雷的定时摄影

早期实验：20世纪初期，研究人员开始探索如何记录和重现人类动作。通过使用特殊设备和摄影技术，他们试图捕捉人体运动，并将其应用于电影和动画制作。一位重要的人物是法国科学家、摄影先驱艾蒂安-朱尔·马雷（Étienne-Jules Marey）。他于19世纪末和20世纪初期进行了许多关于人类运动的研究，探索如何捕捉和分析运动过程。他发明了“定时摄影”（Chronophotography）技术，通过连续拍摄一系列照片来记录运动的每个阶段。这项技术为后来的动作捕捉技术奠定了基础。

rotoscope图示 安迪瑟金斯动作捕捉

传统动画与逐格影描技术：在传统动画时代，动画师通常通过观察和绘制逐帧动作来创建动画，这种方法需要耗费大量时间和劳力。1914年，波兰裔美国动画师弗莱舍兄弟（Fleischer brothers）发明了“逐格影描”（rotoscope）技术，通过运用真人动作的影片和静态照片作为参考，获得了准确的形态和动作，这项创新的技术也得到了广泛应用。其中，迪士尼首部动画长片《白雪公主和七个小矮人》（1937）展示了转描技术的精湛运用。通过转描技术，白雪公主等角色的绘制栩栩如生，而七个小矮人的形象则是纯手绘而成，整部动画呈现出独特的风格。值得一提的是，中国第一部动画电影《铁扇公主》（1941）也深度应用了该技术。

光学动作捕捉：在20世纪70、80年代，光学动作捕捉技术逐渐迈向了新的发展阶段，至今仍是电影“大片”的首选。这项技术利用多台摄像机和反射标记记录人体动作，并将其转化为数字数据。通过计算摄像机之间的视角和标记之间的关系，可以准确还原人体的三维运动。詹姆斯·卡梅隆指导的《阿凡达》是该技术应用史上的里程碑之一，此外还有彼得·杰克逊（Peter Jackson）和安迪·瑟金斯（Andrew Serkis）也在推动这一技术的广泛应用过程中发挥了关键作用。其中，彼得·杰克逊执导了《指环王》三部曲，深度使用动作捕捉技术，为电影创造了逼真而精彩的特效和角色动画。安迪·瑟金斯则在其中饰演了咕噜（Gollum）这一角色，通过动作捕捉技术将他的表演转化为数字模型，创造出了这个独特而令人难忘的荧幕形象。此后，安迪·瑟金斯继续利用动作捕捉技术扮演了一系列著名角色，包括电影《金刚》中的“金刚”、《猩球崛起》三部曲中的“凯撒”，以及《星球大战》中的“斯诺克”等。他的演绎通过动作捕捉技术为这些角色赋予了逼真的动作和表情。

潮幻奇遇季惯性动捕展示

惯性动作捕捉：90年代，惯性动作捕捉技术诞生，并在近十年内实现产品化，成长为主流技术之一。它利用惯性测量单元（IMU）来计算人体骨骼的姿态信息，通过人体动力学模型来反算整个人的姿态和空间位置。这项技术使用小型传感器和陀螺仪等设备来直接捕捉关键部位的运动数据。相比其他技术，惯性动作捕捉具有较低的延迟和更高的精度。目前在独立电影制作、游戏开发和虚拟现实等领域得到广泛应用。

基于计算机视觉动作捕捉

基于计算机视觉的动作捕捉：严谨来说，自1970年代起就已经有基于计算机视觉的动作捕捉技术，即需要依赖特制采集设备的光学动捕。目前正在兴起的，是无标记点纯粹依赖计算机视觉的动作捕捉技术。这种技术利用摄像机和图像处理算法，直接从视频图像中提取运动信息。通过使用机器学习和深度学习算法，可以实现更准确和自动化的动作捕捉过程。本文开头介绍的Wonder Studio正是来源于这种思路。

极简史B面：成本控制史

不难发现，一部动作捕捉技术发展史，也是影视动画制作成本控制史。商业顾问刘润在年度演讲中提到了一个例子，过去电影中的航拍镜头通常需要借助直升飞机进行拍摄，而直升飞机每天的成本约为10多万。以电影《敢死队3》为例，航拍镜头的拍摄需要耗时38天，总成本达到了380万。而如今，只需要花费3万元就能购买到价值相当的航拍无人机，即便是价值10万元，好莱坞电影制作公司也会愿意购买，相当于用10万元解决了380万元的问题。这个案例同样适用于动作捕捉技术。

白雪公主参考视频

不考虑特意追求手绘质感的情况，逐格影描是对逐帧绘制的“平价替代”。迪士尼在拍摄《白雪公主和七个小矮人》（1937）时，向弗莱舍兄弟购买了一套“逐格影描”设备，用来拍摄演员们表演时的动作姿态，作为设计角色肢体语言时的指南。如果没有这项创新技术，迪士尼可能需要招募更多的画师并投入更多的精力来完成这部具有风险的作品。在这种情况下，电影的制作时间可能将延长到三年以上，成本也会进一步增加，世界影史可能也会拥有完全不同的面貌。

光学动作捕捉借助计算机算法和三维建模进一步提高了效率。首先，它具有低延迟或接近实时的特点，可以直接得出结果，这对于基于关键帧的动画来说成本更低。其次，动作捕捉的工作量相对可控，不会因为复杂或持续时间长的表演内容而增加工作量，可以捕捉多种版本和风格的动作，唯一的制约是演员的表演功力。同时，通过动作捕捉技术获得的动作都符合物理规则，提高了效率，并具有进一步降低成本的潜力。

动作捕捉考验演技

惯性动作捕捉方案采用了一种新的技术思路，一定程度上解决了光学动作捕捉设备复杂、易受遮挡和受环境影响大的问题，特别适用于小型动作捕捉需求，并具有成本上的优势。例如，对于常规的两人动作捕捉需求，根据市场公开报价的测算，光学动作捕捉系统需要配置至少12个光学镜头套装，仅此一项开销就至少需要3万美元。这个费用还不包括不小于7x7x3米的场地搭建和后续费用。这个报价还是来自业内以低价策略著称的公司，实际的工业级解决方案中，往往需要数量更多且精度更高的摄像头，相应使用成本可想而知。而使用惯性动作捕捉方案，两个动捕套装的成本不到1万美元，并且没有额外的开支。尽管在精度和稳定性方面可能相对光学动作捕捉方案稍逊，会出现滑步、穿模等情况，但对于小型制作团队而言，成本的诱惑很可能更大。随着惯性动捕方案的出现以及Unreal引擎的普及，涌现出了许多极具特色的科幻短片或动画作品。

计算机视觉动作捕捉方案在成本控制方面更加“激进”，它不需要使用传感器或反射标记，而是直接从视频图像中提取动作信息，实现了更自动化和便捷的动作捕捉过程。在硬件方面，只需使用手机或电脑自带的摄像头就能满足信息采集的需求。甚至可以通过从网络上下载合适的视频来获取动作，因此硬件成本几乎可以忽略。在软件方面，费用通常为订阅费或点数（credits）。目前，Wonder Studio的lite版的订阅费为19.99美元/月，AI动捕应用MOVE.AI的订阅费为365美元/年，而ROKOKO的视频动作捕捉工具则宣称是免费无限制的。

因此，可以理解为，“旧时王谢”的动作捕捉技术已经进入了寻常百姓家。这一次，又会有多少人使用到触手可得的技术？会有多少新的科幻作品即将诞生？这将为整个科幻影视产业带来怎样的新变化？

AIGC赋能“新动作”

或许，计算机视觉动作捕捉技术还没有达到AIGC赋能动作捕捉技术的极限。但如果我们从另一个角度思考，我们之所以需要动作捕捉技术，是为了让虚拟角色能够以适应作品剧情或氛围需要的方式进行表演，并做出相应的反应。因此，问题的关键在于如何获得恰当的动作，而不仅仅是动作捕捉的方法。

在这方面，“生成式动作捕捉”提供了一种新的思路。它利用机器学习和深度学习算法，能够从输入的数据中生成逼真的人体动作。与传统的动作捕捉技术不同，生成式运动捕捉不需要依赖传感器、摄像机或演员的实际动作记录，而是通过学习到的模型和数据来生成动作。

生成式运动捕捉的原理是通过训练模型来学习人体动作的特征和模式。通常，这些模型使用大规模的运动数据集进行训练，其中包含了各种人体动作的样本，例如行走、跑步、跳跃等。

一旦模型训练完成，生成式运动捕捉就能够通过输入控制信号（例如text to motion文本到动作）或关键帧来生成连续的动作序列。根据输入的控制信号，模型会生成与之匹配的逼真动作序列，并将其应用于虚拟角色或动画中。这样可以快速生成大量逼真的动作数据，减少对演员和实际动作记录的依赖和成本。此外，生成式运动捕捉还能够拓展动作的创造性，通过修改和控制模型，创造出一些在现实中难以实现的动作效果。

MotionGPT 视频

目前，这一理论即将变为现实，并已有多个团队发布了相关论文和演示视频，引起了业界的期待。例如，来自复旦大学、腾讯和上海科技大学等机构的团队开发了MotionGPT模型（论文《MotionGPT: Human Motion as Foreign Language》）。研究团队发现人体运动与语言存在一定的相似性，因此将人体运动视为一种特殊的语言形式。他们将语言数据与大规模运动模型结合起来，实现了对运动相关任务性能的提升。该模型使用离散向量量化来处理人体运动，并将3D运动转换为运动标记，类似于生成单词标记的过程。MotionGPT可以通过文本生成逼真的运动序列、为运动添加字幕、预测运动和生成中间动作等。它不仅能提供高质量的运动生成，还能处理多种与运动相关的任务，为运动捕捉领域带来了重要的进展。

MotionDiffuse论文截图

另外，南洋理工大学团队开发了MotionDiffuse模型（论文《MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model》）。这是一种新的框架，可以通过文本生成多样且逼真的人体动作。它采用概率映射而非确定性的方式生成运动，可以通过细节指令和文本提示进行灵活控制。

网易舞蹈ChoreoMaster演示

针对特定的动作需求，网易互娱AI LAB与清华大学合作推出了舞蹈动画合成系统ChoreoMaster。该系统可以根据音乐风格生成不同类型的舞蹈动画，如爵士舞、二次元舞和街舞等。目前，该系统已经为网易旗下多款游戏项目提供了数小时的高质量舞蹈动作资源。

生成式动作不仅限于人类（两足动物），还可以扩展到非顶级光学动作捕捉和惯性动作捕捉系统难以涉足的领域，例如四足动物。来自苏黎世联邦理工学院、谷歌、芝加哥大学等机构的研究人员开发了GANimator框架，用于生成类似于原始动作核心元素的动作，并合成新颖且多样化的动作。据介绍，该模型可以对两足动物、四足动物、六足动物等各种骨骼结构的交互式控制。游戏公司育碧（Ubisoft）也发布了名为ZooBuilder的工具，该工具利用机器学习和人工智能分析视频片段，重建各种动物的精确动画骨骼，非常有趣。

左：Cascadeur演示 右：ZooBuilder演示

在传统手动调节动画（keying）领域，也可以实现人机协同。最近，动画软件Cascadeur推出了基于AI的智能工具Autoposing。开发团队的愿景是打造角色动画领域的“ChatGPT”，借助神经网络技术，Autoposing能够快速摆姿势，加速动画师的制作流程。这种人机协同的方法可以大幅提高效率。

结语

纵观全文，在AIGC的加持下，动作捕捉正以惊人的速度迅速发展。我们有充分的理由相信，这项技术的变革将赋予草根创作者更多的创作力，从而带来内容数量的增长，并最终引起整个产业“质”的变化。

AIGC赋能科幻影视技术的发展将为广大短视频创作者提供新的“利器”。在流量的吸引下，他们可能会纷纷尝试创作与演绎关于外星人、机器人的故事。过去只在电影中才能看到的视觉奇观将充斥于短视频平台，但随之而来的是观众可能会产生视觉疲劳。在这种情况下，我们不禁担心科幻电影大片的未来，需要做到何种程度，才能吸引观众走进影院呢？

特别说明：

本文主要关注涉及人体肢体动作的捕捉技术，而面部表情和手部动作捕捉技术由于技术细节相对复杂，不在本文的讨论范围之内。

参考文献：

1.[英]克里斯托弗·芬奇. 迪士尼的艺术[M]. 北京联合出版公司, 2015.

2.王少笛. 动作捕捉技术之分类与发展史[EB/OL]. [2023.7.6]. https://zhuanlan.zhihu.com/p/42012815.

3.孙寰宇. 现在最强的专业动作捕捉技术是哪家呢，专业的和民用的性能和可用范围差距如何，定位精度又达到了什么地步？[EB/OL]. [2023.7.6]. https://www.zhihu.com/question/57070874/answer/151581477.

4.Biao Jiang,Xin Chen,Wen Liu,Jingyi Yu,Gang YU,Tao Chen. MotionGPT: Human Motion as Foreign Language[EB/OL]. [2023.7.6]. https://motion-gpt.github.io/.

5.mingyuan-zhang. MotionDiffuse[EB/OL]. [2023.7.6]. https://github.com/mingyuan-zhang/MotionDiffuse.

6.Peizhuo Li,Kfir Aberman,Zihan Zhang,Rana Hanocka,Olga Sorkine-Hornung. GANimator: Neural Motion Synthesis from a Single Sequence[EB/OL]. [2023.7.6]. https://peizhuoli.github.io/ganimator/.

7.Pansking. 解放手K动画？人工智能直接生成精确动物动画[EB/OL]. [2023.7.6]. https://mp.weixin.qq.com/s/poO-3hx25WQ_UJBHjpizyg.

8.戴若犁. 从动作捕捉到「生成式」动作捕捉[EB/OL]. [2023.7.6]. https://mp.weixin.qq.com/s/Dcjl7bLyWCnM44Q45TuxOw.

9.魏鹳霏于钟海等. 中金 | 元宇宙系列之AI+数字孪生：视觉筑基，三维重建+动捕技术为翼[EB/OL]. [2023.7.6]. https://mp.weixin.qq.com/s/xOBFoG94j9MOIZCB0Cvgnw.

10.木木. AI自动纠正动作姿势！基于物理动画制作工具Cascadeur又放大招！[EB/OL]. [2023.7.6]. https://mp.weixin.qq.com/s/wRfTuFMJLh5Cv8fzH9XeSQ.

本文为中国科幻研究中心“AIGC赋能科幻影视产业‘智造’研究”项目成果，旨在深入研究AIGC对于科幻影视创制方面的作用，欢迎持续关注后续内容！